Ten największy z rzymskich pałaców, który rozciąga się między ulicami via del Corso, Piazza del Collegio Romano, via della Gatta i via del Plebiscito, wciąż jest własnością rodziny Doria Pamphilj, a jej członkowie do dziś go zamieszkują. Zanim jednak tak się stało, na początku XVI stulecia posiadłość ta należała do kardynała Giovanniego Fazio Santoro, który zakupił w tym miejscu ziemię od dominikanów z pobliskiego kościoła Santa Maria sopra Minerva i wybudował tu swą siedzibę. Jego pałac, który zdobił piętrowy arkadowy dziedziniec (do dziś zachowany), najprawdopodobniej projektu samego Donato Bramantego, wzbudził tak wielki podziw ówczesnego papieża Juliusza II, że zapragnął on, aby właściciel przekazał go w podarunku papieskiemu bratankowi – księciu Francesco Maria della Rovere. Ten, odpowiednio do swej pozycji, powiększył i ozdobił rezydencję. W kolejnym stuleciu pałac przeszedł w ręce rodu Aldobrandini, który ponownie go rozbudował, zmodernizował i ozdobił. Ponieważ ród nie doczekał się męskiego potomka, pałac i zbiór sztuki odziedziczyła księżna Olimpia Aldobrandini di Rossano. Była ona nie tylko piękna, ale i nadzwyczaj bogata, trudno się więc dziwić, że stała się najatrakcyjniejszą partią w Rzymie. Jej wybrankiem został, ku oburzeniu rzymian, jak również własnej rodziny, bratanek papieża Innocentego X, Camillo Pamphilj, który dla swej przyszłej żony zrzucił kardynalskie szaty. Po ślubie w 1647 roku młoda para zamieszkała w pałacu, a księżna nie szczędziła pieniędzy na kolejne remonty i upiększanie wnętrza, w którym regularnie odbywały się bale i spotkania towarzyskie. Potomkowie Olimpii i Camilla kontynuowali dzieło swych rodziców, wzbogacając pałac o nowe inwestycje. Jedną z nich była budowa kaplicy powierzona Carlo Fontanie. Nabywając kolejne dzieła sztuki, wzbogacano też rodzinną galerię.  W tym czasie zakupiono między innymi znaczną ilość obrazów cenionego pejzażysty Gasparda Dugheta (Gaspard Poussin), które umieszczono w jednej z sal pałacu. W kolejnym, XVIII stuleciu nadszedł czas na stworzenie wspomnianej już fasady od strony via del Corso, która – zgodnie z duchem czasu – wykazuje elementy późnego baroku i rokoka. Architekt Gabriele Valvassori nie omieszkał zmodernizować również dziedzińca pałacowego, nadając mu dzisiejszy wygląd zabudowanej loggii, z intencją stworzenia w niej reprezentacyjnej, obiegającej tenże dziedziniec galerii sztuki. Od strony via del Corso powstała też imponująca galeria lustrzana, ze złoconymi sztukateriami, weneckimi lampami, antycznymi posągami oraz sklepieniem, które dekorują freski ukazujące czyny Herkulesa. 

W 1760 roku po śmierci Girolamo, ostatniego męskiego potomka rodu Pamphilj, księżnę Annę Pamphilj wydano za mąż za genueńskiego arystokratę Andreę III Doria. Ich potomek Andrea IV Doria Pamphilj, żyjący na przełomie XVIII i XIX wieku, doprowadził do kolejnej modernizacji pałacu. Wtedy powstała też sala Balowa i odnowiono kaplicę. Dzieło powiększania pałacu kontynuowali również jego potomkowie, wówczas wybudowano między innymi pałacowe stajnie, w których dzisiaj znajdują się pomieszczenia sąsiadującego z pałacem banku (Banca Commerciale).

Niewątpliwie pałac warto odwiedzić przede wszystkim ze względu na kolekcjonowane w nim od wieków zbiory sztuki. Jest wśród nich kilka dzieł wyjątkowej urody i jakości, które koniecznie należy zobaczyć.